Калібрування камери: всеосяжний посібник з геометричного комп'ютерного зору

Калібрування камери є важливим процесом у геометричному комп'ютерному зорі, що формує основу для багатьох застосувань, які базуються на розумінні 3D-світу з 2D-зображень. Цей посібник надає всеосяжний огляд калібрування камери, його основних принципів, методів та практичних застосувань. Незалежно від того, чи є ви досвідченим дослідником комп'ютерного зору чи тільки починаєте, ця публікація має на меті озброїти вас знаннями та інструментами, необхідними для успішної реалізації калібрування камери у ваших проектах.

Що таке калібрування камери?

Калібрування камери - це процес визначення внутрішніх та зовнішніх параметрів камери. По суті, це процес зіставлення 2D-координат зображення з 3D-координатами світу і навпаки. Це зіставлення має важливе значення для різноманітних застосувань, включаючи:

• 3D реконструкція
• Доповнена реальність
• Робототехніка та автономна навігація
• Відстеження об'єктів
• Медична візуалізація
• Промислова інспекція

Точне калібрування камери життєво важливе для отримання надійних результатів у цих додатках. Неправильно відкалібровані камери можуть призвести до значних помилок у 3D-вимірах і, зрештою, погіршити продуктивність системи.

Розуміння параметрів камери

Параметри камери можна широко розділити на дві групи: внутрішні та зовнішні параметри.

Внутрішні параметри

Внутрішні параметри описують внутрішні характеристики камери, такі як фокусна відстань, головна точка та коефіцієнти дисторсії. Ці параметри притаманні самій камері і залишаються постійними, якщо не змінено внутрішню конфігурацію камери. Основні внутрішні параметри включають:

• Фокусна відстань (f): Представляє відстань між об'єктивом камери та датчиком зображення. Вона визначає поле зору камери. Зазвичай виражається в пікселях (fx, fy)
• Головна точка (c): Точка на площині зображення, де перетинається оптична вісь. Це центр зображення в ідеальній, неспотвореній камері. (cx, cy)
• Коефіцієнти дисторсії об'єктива: Ці коефіцієнти моделюють дисторсію, введену об'єктивом камери. Існує кілька типів дисторсії, включаючи радіальну та тангенціальну дисторсію. Найбільш поширеними є коефіцієнти радіальної дисторсії k1, k2, k3 та коефіцієнти тангенціальної дисторсії p1, p2.
• Коефіцієнт перекосу: Представляє неортогональність осей датчика зображення. У сучасних камерах він часто близький до нуля і часто ігнорується.

Ці параметри зазвичай представлені в матриці камери (також відомої як внутрішня матриця):

K = [[fx, skew, cx], [0, fy, cy], [0, 0, 1]]

де:

• fx та fy представляють фокусну відстань у напрямках x та y відповідно.
• (cx, cy) – головна точка.
• Перекіс зазвичай наближається до 0, моделюючи неортогональність осей зображення.

Зовнішні параметри

Зовнішні параметри описують положення та орієнтацію камери в світовій системі координат. Ці параметри визначають перетворення, яке відображає 3D-точки світу в систему координат камери. Вони містять:

• Матриця обертання (R): Матриця 3x3, яка описує орієнтацію камери відносно світової системи координат.
• Вектор перекладу (T): 3D-вектор, який описує положення центру камери відносно початку світової системи координат.

Ці параметри разом визначають положення камери. Зв'язок між координатами точки світу (Xw, Yw, Zw) та координатами камери (Xc, Yc, Zc) задається:

[Xc] = R[Xw] + T [Yc] = R[Yw] [Zc] = R[Zw]

Моделі камер

Існує кілька моделей камер, кожна з яких пропонує різні рівні складності та точності при представленні поведінки камери. Найбільш широко використовуються моделі:

Модель камери з отвором

Модель камери з отвором є найпростішою та найфундаментальнішою моделлю камери. Вона передбачає, що світлові промені проходять через одну точку (центр камери або оптичний центр) і проектуються на площину зображення. Ця модель характеризується внутрішніми параметрами (фокусна відстань і головна точка) і передбачає відсутність дисторсії об'єктива. Це корисне спрощення для розуміння основних принципів, але часто недостатнє в реальних сценаріях через дисторсію об'єктива.

Модель дисторсії об'єктива

На камери реального світу впливають дисторсії об'єктива, насамперед радіальні та тангенціальні дисторсії. Радіальна дисторсія змушує прямі лінії вигинатися, тоді як тангенціальна дисторсія викликана недосконалістю вирівнювання об'єктива. Модель дисторсії об'єктива розширює модель з отвором, включаючи коефіцієнти дисторсії для компенсації цих ефектів. Найбільш поширеною моделлю є модель радіально-тангенціальної дисторсії, також відома як модель Брауна-Конраді, яка враховує наступні параметри:

• Коефіцієнти радіальної дисторсії: k1, k2, k3
• Коефіцієнти тангенціальної дисторсії: p1, p2

Ці коефіцієнти зазвичай визначаються під час процесу калібрування камери.

Методи калібрування камери

Для калібрування камер використовується кілька методів, починаючи від простих ручних методів до складних автоматизованих підходів. Вибір методу залежить від бажаної точності, наявних ресурсів та конкретного застосування. Основні методи включають:

Використання мішеней калібрування

Це найпоширеніший метод, що використовує відомий шаблон (мішень калібрування) для оцінки параметрів камери. Процес передбачає захоплення кількох зображень мішені калібрування з різних точок зору. Координати зображення функцій мішені потім використовуються для розв'язання внутрішніх і зовнішніх параметрів. Популярні мішені калібрування включають:

• Шахові шаблони: Легко виготовляти та широко використовувати. Точки функцій - це перетини шахових квадратів.
• Шаблони кіл/сітки кіл: Менш чутливі до перспективних спотворень, ніж шахові шаблони, і їх легше виявляти на зображеннях. Центри кіл використовуються як точки функцій.
• Шаблони AprilGrid: Широко використовуються завдяки їхній стійкості до перспективних змін і змін точки зору.

Приклади використання мішеней калібрування можна спостерігати в усьому світі. Наприклад, у дослідженнях робототехніки в Японії рука робота може використовувати калібрування за допомогою шахової дошки, щоб вирівняти камеру зі своїм робочим простором. У галузі автономного водіння компанії в Німеччині можуть використовувати шаблони у вигляді сітки кіл для калібрування кількох камер, встановлених на транспортних засобах, для точного сприйняття глибини.

Самокалібрування

Самокалібрування, також відоме як автоматичне калібрування, - це метод, який оцінює параметри камери без необхідності відомої мішені калібрування. Він покладається на обмеження, накладені епіполярною геометрією між зображеннями однієї сцени. Цей підхід корисний, коли мішень калібрування недоступна або її використання непрактичне. Однак самокалібрування зазвичай дає менш точні результати порівняно з методами з використанням мішеней калібрування.

Методи виправлення дисторсії об'єктива

Незалежно від методу калібрування, остаточний результат повинен включати крок виправлення дисторсії об'єктива. Цей крок має на меті зменшити або усунути спотворення зображення, викликане об'єктивом камери. Поширеними методами є:

• Виправлення радіальної дисторсії: Виправляє спотворення у вигляді бочки або подушки.
• Виправлення тангенціальної дисторсії: Виправляє невідповідність елементів об'єктива.
• Перемалювання: Перетворення спотвореного зображення в виправлене зображення на основі параметрів калібрування.

Практичне калібрування камери за допомогою OpenCV

OpenCV (Open Source Computer Vision Library) - це широко використовувана бібліотека комп'ютерного зору з відкритим вихідним кодом, включаючи калібрування камери. Вона надає надійні та ефективні інструменти для виконання калібрування камери з використанням різних методів та легко доступних мішеней калібрування.

Ось загальний огляд процесу за допомогою OpenCV:

1. Захоплення зображень: Захоплюйте кілька зображень мішені калібрування (наприклад, шахової дошки) з різних точок зору. Переконайтеся, що між переглядами достатньо перекриття. Зазвичай рекомендується мінімум 10-20 переглядів.
2. Виявлення точок функцій: Використовуйте функції OpenCV (наприклад, `cv2.findChessboardCorners` для шахових дошок), щоб автоматично виявляти точки функцій (наприклад, кути шахових квадратів) на зображеннях.
3. Уточнення точок функцій: Уточніть знайдені розташування точок функцій, використовуючи субпіксельну точність (наприклад, `cv2.cornerSubPix`).
4. Відкалібруйте камеру: Використовуйте виявлені 2D-точки зображень та їхні відповідні 3D-координати світу для калібрування камери. Використовуйте функцію `cv2.calibrateCamera` OpenCV. Ця функція виводить внутрішню матрицю (K), коефіцієнти дисторсії (dist), вектори обертання (rvecs) та вектори перекладу (tvecs).
5. Оцініть калібрування: Оцініть результати калібрування, обчисливши похибку перепроекції. Це показує, наскільки добре відкалібрована модель камери пояснює спостережувані дані зображення.
6. Виправте зображення: Використовуйте обчислені внутрішні параметри та коефіцієнти дисторсії для виправлення захоплених зображень, створюючи виправлені зображення. Функції OpenCV `cv2.undistortPoints` та `cv2.undistort` використовуються для цього.

Приклади фрагментів коду для Python (з використанням OpenCV) можна легко знайти в Інтернеті. Пам'ятайте, що ретельний вибір розміру мішені калібрування (розмірів), отримання зображень і налаштування параметрів під час процесу є критичними елементами для досягнення необхідних результатів.

Приклад: У Сеулі, Південна Корея, дослідницька група використовує OpenCV для калібрування камер на дронах для аерофотоаналізу. Параметри калібрування мають вирішальне значення для точних вимірювань і картографування з повітря.

Застосування калібрування камери

Калібрування камери знаходить застосування в багатьох галузях. Це фундаментальний крок у багатьох конвеєрах комп'ютерного зору.

Робототехніка

У робототехніці калібрування камери необхідне для:

• Зір робота: Надання роботам можливості розуміти своє оточення та взаємодіяти з об'єктами.
• Розпізнавання та маніпулювання об'єктами: Точне розпізнавання та маніпулювання об'єктами в робочому просторі робота.
• Навігація та локалізація: Дозволяючи роботам переміщатися у складних середовищах.

Приклад: Промислові роботи на виробничому підприємстві в Мюнхені, Німеччина, використовують відкалібровані камери для точного підбору та розміщення об'єктів на виробничій лінії.

Автономні транспортні засоби

Калібрування камери є наріжним каменем у технології автономних транспортних засобів, включаючи:

• Розпізнавання смуг руху: Точне визначення розмітки смуг руху та меж доріг.
• Виявлення та відстеження об'єктів: Виявлення та відстеження транспортних засобів, пішоходів та інших перешкод.
• 3D-сприйняття: Створення 3D-зображення оточення транспортного засобу для навігації.

Приклад: Компанії з виробництва самокерованих автомобілів у Силіконовій долині, США, значною мірою покладаються на точне калібрування камер для забезпечення безпеки та надійності в системах сприйняття своїх транспортних засобів.

3D-реконструкція

Калібрування камери життєво важливе для створення 3D-моделей об'єктів або сцен з кількох 2D-зображень. Це має значні застосування в:

• Фотограмметрія: Створення 3D-моделей з фотографій.
• 3D-сканування: Сканування об'єктів та середовищ для створення цифрового представлення.
• Віртуальна реальність (VR) та доповнена реальність (AR): Створення захоплюючих та інтерактивних вражень.

Приклад: Археологи використовують відкалібровані камери для створення 3D-моделей стародавніх артефактів у Римі, Італія, для збереження та досліджень. Будівельні компанії в Канаді використовують методи 3D-реконструкції на основі відкаліброваних камер для обстеження та документування будівельних майданчиків.

Медична візуалізація

Калібрування камери використовується в кількох додатках медичної візуалізації, включаючи:

• Хірургічна навігація: Допомога хірургам під час складних процедур.
• Аналіз медичних зображень: Аналіз медичних зображень (наприклад, рентгенівських знімків, МРТ) для діагностики.
• Малоінвазивна хірургія: Керування хірургічними інструментами з більшою точністю.

Приклад: Лікарі в лікарні в Мумбаї, Індія, використовують відкалібровані камери в ендоскопічних процедурах для надання детальної візуальної інформації.

Промислова інспекція

Калібрування камери використовується для контролю якості та інспекції у виробничих умовах:

• Виявлення дефектів: Визначення дефектів у вироблених продуктах.
• Вимірювання розмірів: Точне вимірювання розмірів об'єктів.
• Перевірка складання: Перевірка правильного складання компонентів.

Приклад: Виробничі підприємства в Шеньчжені, Китай, використовують відкалібровані камери для перевірки електронних компонентів на друкованих платах, забезпечуючи якість продукції.

Виклики та міркування

Хоча калібрування камери є зрілою областю, кілька викликів і міркувань мають вирішальне значення для досягнення оптимальних результатів:

• Точність мішеней калібрування: Точність мішені калібрування безпосередньо впливає на точність калібрування. Високоякісні мішені з точно відомими розташуваннями точок функцій є важливими.
• Якість отримання зображень: Якість зображень, які використовуються для калібрування, значно впливає на результати. Такі фактори, як фокус, експозиція та роздільна здатність зображення, відіграють вирішальну роль.
• Стабільність камери: Камера повинна залишатися стабільною під час процесу отримання зображень. Будь-який рух може призвести до помилок.
• Середовище калібрування: Переконайтеся, що середовище калібрування добре освітлене, щоб уникнути тіней або відблисків, які можуть заважати виявленню точок функцій. Враховуйте вплив освітлення на виявлення функцій у різних регіонах світу (наприклад, зміни сонячного світла).
• Характеристики об'єктива: Деякі об'єктиви демонструють значні спотворення. Вибір відповідних моделей дисторсії та уточнення їх параметрів є важливим.
• Програмне та апаратне забезпечення: Переконайтеся, що версії програмного забезпечення та підтримка апаратного забезпечення вирівняні. Перевірте сумісність версії OpenCV з обладнанням, яке використовується у вашому проекті.

Найкращі практики та поради

Щоб забезпечити ефективне калібрування камери, дотримуйтесь цих найкращих практик:

• Використовуйте високоякісні мішені калібрування: Інвестуйте або створіть точні мішені калібрування з точно відомими розташуваннями точок функцій.
• Захоплюйте різноманітні зображення: Отримайте зображення мішені калібрування з різних точок зору, включаючи різні кути та відстані, забезпечуючи достатнє перекриття між переглядами. Це допоможе отримати точну оцінку зовнішніх параметрів.
• Фокус та освітлення: Переконайтеся, що зображення добре сфокусовані та правильно освітлені.
• Субпіксельна точність: Використовуйте методи уточнення субпікселів, щоб точно визначити розташування точок функцій.
• Аналіз помилок: Оцінюйте результати калібрування, перевіряючи похибку перепроекції та враховуючи інші показники. Перегляньте результати з внутрішніх параметрів і переконайтеся, що результат відповідає специфікаціям камери (наприклад, фокусній відстані).
• Надійність: Враховуйте навколишнє середовище. Калібрування слід виконувати таким чином, щоб підтримувати незмінність умов зовнішнього середовища, таких як температура або світло.
• Повторне калібрування: Якщо внутрішні параметри камери змінюються (наприклад, через заміну об'єктива або регулювання фокусування), повторно відкалібруйте камеру.
• Регулярне тестування: Регулярно перевіряйте калібрування камери, щоб виявити будь-які потенційні проблеми. Якщо ви розробляєте продукт, розгляньте можливість включення перевірки помилок калібрування в систему.

Майбутнє калібрування камери

Калібрування камери продовжує розвиватися, а поточні дослідження зосереджуються на:

• Системи з кількома камерами: Калібрування складних систем з кількома камерами, що стає все більш поширеним в автономних транспортних засобах і доповненій реальності.
• Калібрування на основі глибокого навчання: Використання моделей глибокого навчання для автоматизації процесу калібрування та підвищення точності.
• Методи без калібрування: Розробка методів, які не потребують мішені калібрування.
• Динамічне калібрування: Вирішення проблем у динамічних середовищах, де параметри можуть змінюватися.
• Інтеграція з іншими датчиками: Інтеграція калібрування камери з іншими датчиками, такими як LiDAR, для створення більш надійних сенсорних систем.

Постійні досягнення у обчислювальній потужності у поєднанні з розробкою більш складних алгоритмів обіцяють подальше підвищення точності, ефективності та надійності методів калібрування камери.

Висновок

Калібрування камери є фундаментальним та життєво важливим компонентом у геометричному комп'ютерному зорі. Цей посібник запропонував всеосяжний огляд принципів, методів та застосувань. Розуміючи описані концепції та методи, ви можете успішно калібрувати камери та застосовувати їх у різних сценаріях реального світу. З розвитком технологій важливість калібрування камери буде тільки зростати, відкриваючи двері для нових та захоплюючих інновацій у численних галузях у всьому світі.